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(57) Abstract: The invention relates to a method and 
system for the acquisition and correlation matching 
of points belonging to a stereoscopic pair of images, 
whereby the pair is formed by a first image and a second 
image representing a scene. According to the invention, 
the two images of the pair are acquired with a single 
acquisition instrument (30) comprising two sensors 
CCD (31, 32) in the optical focal plane. The matching of 
the acquired stereoscopic pair consists in determining, 
by means of correlation, the point in the second image 
that is homologous to a point in the first image. Said 
correlation is performed for a point from the first image 
using an optimally-sized correlation window. When 
the homologous point of a point from the first image 
has been determined, the position deviation between 
the point from the first image and the homologous point 
thereof is entered in a table. Once all of the homologous 
points of the points from the first image have been 
found, the results table is reset barycentrically. The 
points that do not meet a criterion are rejected, i.e. 
points suspected of having erroneous matching. The 
processing is performed at a dyadic resolution level. 

(57) Abrege : L'invention concerne un procede et un 
systeme d'acquisition et d'appariement par correlation 
des points d'un couple stereoscopique d'images. 
Le couple est forme d'une premiere image et d'une 
deuxieme image representant une scene. Les deux 
images du couple sont acquises a I'aide d'un instrument 
d'acquisition unique (30) comprenant deux 
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capteurs CCD (31, 32) dans le plan focal optique. L'appariement du couple stereoscopique acquis consiste a determiner par correla- 
tion I'homologue dans la deuxieme image d'un point de la premiere image. Cette correlation est realisee, pour un point considere 
de la premiere image, a I'aide d'une fenetre de correlation de taille optimale. Lorsque Thomologue d'un point de la premiere image 
est determine, I'ecart de position entre le point de la premiere image et son homologue est place dans un tableau. Une fois que tous 
les homologues des points de la premiere image ont ete trouves, on effectue un recalage barycentrique du tableau des resultats. Les 
points ne repondant pas a un critere, c'est-a-dire les points dont on suppose que l'appariement est errone sont rejetes. Le traitement 
est realise en niveau de resolution dyadique. 
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APPARIEMENT FIN PRIMAGES STEREOSCOPIOUES ET INSTRUMENT 
DEDm AVEC UN FAIBLE COEFFICIENT STEREOSCOPIOUE 

La presente invention conceme le domaine de la stereoscopie. En particulier, 
P invention conceme un procede et un ensemble d' acquisition et d'appariement fin d'un 
couple stereoscopique d'images. 

C^est-a-dire que Tinvention conceme un procede et un sj^steme pemiettant 
Tacquisition et la mise en correspondance des points d'une premiere image avec les 
points d'une deuxieme image formant un couple stereoscopique d'images. 

PRESENTATION GENERALS DE ART ANTERIEUR 

La stereoscopie est im procede doimant Timpression de relief k partir d'un couple 
d'images 2D (ou deux dimensions) representant une scene ayant ete acquise avec des 
points de vue differents. 

Tel qu'illustre a la figure 3, deux images formant un couple stereoscopique 
d'images sont acquises a I'aide de deux captexirs CCD (Charge Couple Device) 
(matrices ou barrettes) 15, 16 situes dans le meme plan focal 19' et symetriques par 
rapport a la droite A-A' passant par le centre de la sc^ne observee et peipendiculaire au 
plan focal 19'. 

Ces capteurs CCD vont permettre 1' acquisition de deux images de la scene 
observee situee a une certaine distance 18 des capteurs CCD. 

Du fait de Tecartement 19 des deux capteurs CCD qui les ont acquises, ces deux 
images ne sont pas sans relation. Ainsi, xme scene verra ses images decalees d'xme image 
du couple a Tautre. Ce decalage est appele disparite. 

Le systeme stereoscopique le plus elabore a Theure actuelle est le systeme visuel 
humain. L'homme dispose de deux yeux situes dans le meme plan focal comprenant 
chactm un cristallin (systeme optique) et me retine (capteur CCD). Ces yeux lui 
permettent de percevoir son environnement de deux points de vue legerement differents. 
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La fusion mentale de ces dexDs: vues M pennet d'engendrer une image spatiale (3D) de 
son environnement 

Les methodes de traitement d'images stereoscopiques essaient, par des calculs 
mathematiques, de modeliser ce que notre cerveau fait sans difficulte. Le principe 
consiste daiis un premier temps a mettxe en correspondatice les points des images du 
couple stereoscopique d'images. Dans xm deuxieme temps, on reconstruit les 
coordonnees 3D des points de la scene observee en calculant Tintersection des droites 
passant par les points apparies et par les centres optiques des capteurs CCD. 

La principale difficulte rencontree lors de la mise en place d'une telle methode 
est justement de mettre un a un en correspondance les points des images du couple. En 
effet, les deux images du couple n'etant pas prises sous la mSme incidence, un point 
donne de la scene dont la position dans la premiere image est donnee par les cordonnees 
PC1,Y1), aura pour coordonnees (X2,Y2) dans la deuxieme image, avec XI 9^X2 et Yl 
75 Y2. 

Get ecart de position entre les projections sur les capteurs CCD d'lm point donne 
de la scene observee dont les deux images se forment sur des points geometriquement 
non correspondants est appele disparite geometrique. Dans la suite, le terme « d'ecarts 
de position » sera prefere au terme « disparite » bien qu'ils aient tons deux la meme 
signification. 

n a deja ete propose un certain nombre de methodes permettant Tappariement 
des poiats de 2 images prises sous 2 angles differents. Ces methodes utilisent souvent le 
principe de correlation pour faire correspondre les points d'lme image a Fautre et done 
determiner les ecarts de position. 

Le principe de la correlation est fonde sur la mesure d'une ressemblance locale 
entre deux images. Cette ressemblance locale s'effectue en introduisant des fenetres 
ponderees (ou matrice de coefficients) centrees sur les voisinages homologues au sens 
du positioimement geometrique dans Pimage. Ces fenetres ponderees sont appelees 
fenetres de correlation. 
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Comme presente sur la figxire 1, le procede consiste k se donner xme fenStre 3 de 
correlation centr6e sur le point 40 etudie de la premiere image 1, et a rechercher son 
homologue 41 au sens radiometrique sur la deuxieme image 2. Cette operation est 
realisee par deplacement (dans la deuxieme image) de la fenetre de correlation 3 dans 
xme fenetre plus importante appelee aire de recherche 4. L'aire de recherche 4 est centree 
sur rhomologue geometrique estime 42 du point courant 40 de la premiere image. Le 
tableau des valeurs de correlation obtenues constitue la nappe de correlation. On retient 
alors Tecart de position pour lequel la valeur de correlation est maximale. 

Lorsque Ton effectue Tappariement des points d'un couple stereoscopique 
d'images par correlation, la premiere image sert de reference, et Ton cherche a 
retrouver, pour chaque point de la premiere image, son homologue radiometrique dans la 
deuxieme image. 

Cette operation est realisee successivement sur xm sous ensemble ou sur tous les 
points de la premiere image. Le point de la premiere image etudie a un instant donne 
sera dans la suite appele point courant. Chaque point de la premiere image pent etre 
considere comme un signal que Pon cherche a retrouver dans la deuxieme image par 
correlation. Un point 40 de la premiere image et un point 41 de la deuxidme image sont 
des homologues radiometriques sMls correspondent au meme point de la scene 
representee dans les images du couple ster6oscopique. 

A partir de deux images 2D formaat un couple stereoscopique d'images il est 
possible,^ une fois les points des deux images du couple apparies, de determiner la 
coordonnee en Z d'un point de la scene ayant pour coordonnees (XI, Yl) dans la 
premiere image, et (X25 Y2) dans la deuxieme image du couple. 

En r absence de perturbations (microvibrations par exemple) la precision sur la 
determination de la troisieme coordonnee d'xm point de la scene aussi connue sous le 
nom de precision altimetrique est proche de : 

dz = dsl{blK)^ 

ou - ds est la precision 17 de la restitution de la disparite, et 
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- b/h est le coefficient stereoscopique avec 

- b est la distance 19 entre les deux capteiars CCD situes dans le mSme plan focal, 
et 

- h la distance 18 entre les capteurs CCD et la scene visee. 

Les methodes qui utilisent le principe de correlation pour apparier chaque point 
de la premiere image avec son homologue radiometrique dans la deuxieme image ne 
permettent pas d'obtenir une bonne precision sur la restitution de la disparite ( ds ). En 
effet, le defaut majeur du proced6 de correlation est un phenomene dit « d' adherence » 
aux zones les plus singulieres des images du couple stereoscopique, conune par exemple 
les contours. Le phenomene d' adherence est caus6 notamment par la taille de la fenetre 
de correlation utilis6e pour appareiller les points du couple d'images, 

Ce phenomene d'adherence est mis en evidence a la figure 2 sur un decalage 6 
sinusoidal de revolution de periode 35 et d'amplitude +/- 0.5, la mesure 7 de ce decalage 
6 par correlation avec une fenStre de correlation de taille 15x15 de type prolate et la 
premiere image 9. La mesure 7 de ce decalage par correlation fait apparaitre le defaut 
majeur de la correlation au niveau des contours 9, 10, 1 1, 12, 13, de Timage 7, 

Par consequent, Tutilisation du principe de correlation pour deterroiner les ecarts 
de position entre les points de deux images stereoscopiques necessite d' avoir un fort 
coefficient stereoscopique (b/h) afin de diminuer lineairement Perreur altimetrique, ou 
erreur dans la determination de la troisieme cooi^dormee Z d'un point de la scene 
representee dans le couple d' images. En effet, comme illustre par T equation ci-dessus, 
Terreur altimetrique est inversement proportionnelle au coefficient stereoscopique. 
Inversement les faibles coefficients stereoscopiques augmentent lineairement Terreur 
altimetrique. 

Un des buts de la presente invention est de foumir une methode d'appariement 
d'xm couple stereoscopique d'images ne presentant pas les inconvenients de la methode 
precedemment decrite, et ainsi permettre la mise en place d'une methode permettant 
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rappariement precis des points d'un couple stereoscopique d'images pour de faibles 
coefficients stereoscopiques. 

L'appariement des points d'un couple stereoscopique d'images est realise par 
r elaboration de cartes des ecarts de position. La position de chaque point de la carte des 
ecarts de position correspond a la position d'un point de la premiere image, et la valeur 
de chaque point de la carte des ecart de position representent I'ecart de position entre le 
point de la premiere image et son homologue radiometrique daas la deuxieme image. 
Par exemple, la valeur du point de coordonnees (A, B) de la carte des ecarts de position 
est representative de Tecart de position entre le point de coordonnees (A, B) de la 
premiere image et son homologue radiometrique dans la deuxieme image. 

Comme il a ete precedemment mentionne, les methodes d'appariement d'un 
couple stereoscopique d'images basees sur le principe de corr6Iation ne permettent 
d'obtenir im appariement precis des points que pour xm coefficient stereoscopique fort. 

Le coefficient stereoscopique (b/h) est le rapport entre Tecartement 19 entre les 
deux capteurs CCD 15, 16 situes dans le meme plan focal 19' (cf. figure 3), et la 
distance 1 8 entre la sc^ne visee et les capteurs CCD. 

La distance 18 entre la scene observee et les capteurs CCD d6pendant de 
I'application, I'ecartement 19 entre les captexirs CCD 15, 16 doit etre prevu suffisant 
pour avoir un fort coefficient stereoscopique. 

Les systemes d' acquisition et d'appariement de couple stereoscopique d'images 
comprennent un sj^steme d' acquisition et un systeme de traitement. Ces deux systemes 
sont en general distants et communiquent par des moyens de comnximication avec ou 
sans fil. 

Les systemes de traitement permettent l'appariement d'un couple stereoscopique 
d'images. Ces systemes mettent en oeuvre les methodes d'appariement d'un couple 
stereoscopique. Dans le cas d'un systeme de traitement mettant en oeuvre une methode 
basee sur le principe de correlation, il est done necessaire d' avoir nn fort coefficient 
st6r6oscopique pour un appariement precis des images d'un couple. 
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Les systemes d'acqtiisition de couple stereoscopique d'images foumissant aux 
systemes de traitement les images a traiter doivent done etre con9US de sorte qu'ils 
respectent cette condition (coefficient stereoscopique fort du couple d'images). 

Dans le cas d'un sj^steme spatial d' acquisition d'un couple stereoscopique 
5 d'images, la distance 18 entre le systeme d' acquisition et la scene observe© est tres 

grande. 

Par consequent, Tecartement 19 entre les capteurs CCD du systeme d' acquisition 
doit etre tres important pour avoir un fort coefficient stereoscopique. L'importance de 
cat ecartement implique que les systemes spatiaux d' acquisition des couple 
10 stereoscopique d'images comprennent deux instruments optiques 15', 16' (satellite) 

comprenant chacun un capteur CCD 15, 16. 

La presence, dans les systemes spatiaux d'acquisition, de deux instruments 
optiques 15', 16' comprenant chacim un capteur CCD 15, 16 induit une plixs grande 
complexite dans rappariement d'image, et xm cout plus important pour la conception et 
15 la mise sur orbite de tels systemes spatiaux d'acquisition. 

En vision de pres (appareils photos par exemple), I'acquisition d'images 
ster6oscopiques necessite la presence de deux systemes optiques dans le systeme 
d'acquisition. 

Un autre but de la presente invention est de foumir un ensemble d'acqixisition et 
20 d'appariement d'xm couple stereoscopique d'images comprenant xm s^^steme 

d'acquisition simplifie permettant I'acquisition d'un couple pour un faible coefficient 
stereoscopique et un systeme de ti-aitement mettant en oeuvre la methode d'appariement 
d'un couple stereoscopique d'images selon la presente invention. 

25 PRESENTATION DE UINVENTION 

L'invention conceme un systeme de traitement pour un ensemble d'acqixisition et 
d'appariement d'un couple stereoscopique d'images comprenant un systeme 
d'acquisition d'un couple stereoscopique d'images a coefficient stereoscopique de 



wo 2005/093655 



PCT/FR2005/000752 



7 

quelques centiemes et le systeme de traitement du couple stereoscopique acquis, le 
systems de traitement comportant : 

- des moyens aptes a traiter les deux images du couple stereoscopique, selon au 
moins xme direction de traitement et selon differents niveaux de resolution du plus 
grossier au plus fin, lesdits moyens de traitement comprenant des moyens qui, pour 
chaque changement de niveau de resolution, sont aptes a : 

- determiner, en chaque point de la premiere image, une fenetre de correlation 
optimale, 

- calculer, par correlation avec les fenStres de correlation deterroinees, les ecarts 
de position entre chaque point de la premiere image et son homologue 
radiometrique dans la deuxieme image, 

- obtenir, pour le niveau de resolution courant, une carte des ecarts de position 
entre chaque point de la premiere image et son homologue radiometrique dans la 
dexDdeme image, 

- effectuer un recalage barycentrique des points de ladite carte obtenue, 

- des moyens aptes a obtenir, pour le niveau de resolution le plus fin, la carte des 
ecarts de position entre chaque point de la premiere image et son homologue 
radiometrique dans la deuxieme image. 

Des aspects preferes, mais non limitatifs du systeme de traitement selon 
rinvention sont les suivants : 

les moyens aptes a traiter les deux images du couple comprennent en outre : 

- des moyens aptes a effectuer une convolution des images du couple par ujie 
fenetre de convolution, 

- des moyens aptes a effectuer un zoom de taille 2 des images du couple 
stereoscopique. 

les moyens aptes a determiner la fenetre de correlation optimale en chaque point 
de la premiere image comprennent : 

- des moyens aptes a calculer une' c6urbure de la premiere image pour chaqiae 
taille de fenetre de correlation, 
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- des moyens aptes a calculer une courbure de rimage de bruit pour chaque taille 

de fenetre de correlation, 

- des moyens aptes a calculer, pour chaque taille de fenetre de correlation, le 
rapport (SNRc) des courbures precedentes, 

et des moyena aptes a choisir la plus petite taille de fenetre de correlation telle 
que ledit rapport soit superieur a un parametre d'exhaustivite saisi par 
Putilisateur, 

les moyens aptes a traiter les deux images comprennent en outre des moyens 
aptes a effectuer une interpolation de la deuxieme image grSce a une carte des 
ecarts de position obtenue pour un niveau de resolution precedent, 
les moyens aptes a traiter les deux images comprennent en outre : 

- des moyens aptes a rejeter les points homologues issus de fenetres de 
correlation de plus grandes tailles et contenant des fendtres de correlation de plus 
petites tailles, 

- des moyens aptes a rejeter les points homologues (40, 41) de rayons de 
courbure verifiant une condition de rejet apres interpolation de la deuxieme 

iDQage (2), 

- des moyens aptes a completer iterativement, dans la carte des ecarts de position 
correspondant au niveau de resolution courant, des points d' ecarts de position 
lacunaires en fonction des points d' ecarts de position existants, 

- des moyens aptes a lisser la carte des ecarts de position correspondant au 
niveau de resolution coxwant par ime fenetre de convolution, 

- des moyens aptes a composer la carte des ecarts de position calculee pour le 
niveau de resolution courant avec la carte des ecarts de position calculee poxir le 
precedent niveau de resolution afin de mettre a jour ladite carte des ecarts de 
position calculee pour le niveau de resolution precedent. 

le systeme de traitement comporte en outre des moyens aptes a rejeter les points 
homologues verifiant une condition de rejet, lesdits moyens aptes a rejeter les 
points homologues comprenant : 
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- des moyens qui^ pour le point courant, sont aptes a calculer sur la premiere 
image les coxirbxires de ses deux points voisins suivaat chaque direction de 
traitement, 

- des moyens qui, pour le point courant, sont aptes a calculer I'ecart inferieur des 
courbures des 4 connexes au point courant de la premiere image, 

- des moyens qui, pour le point courant, sont aptes a calculer, dans la dexixieme 
image, son point homologue interpole par la carte des ecarts de position, 

r des moyens qui, pour le point couarant, sont aptes a calculer Tecart entre sa 
courbiire et celle du point homologue, 

- des moyens qui, pour le point coxu-ant, sont aptes a rejeter le point homologue si 
cet ecart est plus important que Tecart inferieur calcule sur la premiere image. 
L'iavention conceme egalement xm procede d'appariement d'xm couple 

stereoscopique d'images a coefficient stereoscopique de quelques centiemes, le procede 
comprenant les etapes : 

- de traitement grace a des moyens de traitement des deux images du couple 
ster6oscopique, selon au moins une direction de traitement et selon differents 
niveaux de resolution du plus grossier au plus fin, en, pour chaque changement 
de niveau de resolution : 

- determinant, en chaque point de la premiere image, une fenetre de 
correlation optimale, 

- calculant, par correlation avec les fenetres de correlation determinees, 
les ecarts de position entre chaque point de la premiere image et son 
homologue radiometrique dans la deuxieme image, 

- obtenant, pour le niveau de resolution courant, xme carte des ecarts de 
position entre chaque point de la premiere image et son homologue 
radiometrique dans la deuxieme image, 

- effectuant im recalage barycentrique des points de ladite caite obtenue. 
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- d'obtention, poxir le niveau de resolution le plus fin, de la carte des ecarts de 

position entre chaque point de la premiere image et son homologue 
radiometrique dans la deuxieme image. 

Des aspect preferes mais non limitatifs du procede selon I'invention sont les 
suivants : 

le procede comporte en outre Tetape : 

- d'acquisition d'un couple stereoscopique d'images par un instrument 
d' acquisition unique destine a fonctioimer avec des coefficients stereoscopiques 
de quelques centiemes et comprenant deux capteurs CCD dans le plan focal 
optique, chaque capteur pemiettant Tacquisition d'une image du couple. 

le procede comporte en outre xme etape consistant a traiter grace a des moyens de 
traitement les deux images du couple stereoscopique selon une direction 
epipolaire. 

le procede comporte ime etape consistant a traiter grace k des moyens de 
traitement les deux images du couple stereoscopique selon une direction 
epipolaire et une direction orthogonale k la direction epipolaire. 
le procede comprend en outre une etape de saisie par un utilisateur d'au moins un 
parametre d'exhaustivite correspondant au choix d'un rapport signal sxxr bruit de 
correlation suivant chaque direction de traitement. 

le procede comporte en outre une etape d' acquisition de donnees comprenant 
r acquisition : 

- d'lme image de bruit par chaque capteur CCD, 

- du type de la fenetre de correlation, 

- d'une direction epipolaire pour chaque image du couple pour un coefficient 
stereoscopique moyen, , 

- d'au moins une valeur de I'ecart de position maximum suivant chaque direction 
de traitement. 
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le proced6 comprend en outre ime etape de pretraitement des dormees consistaat 
a: 

- calculer un nombre de niveaux de resolution suivant chaque direction de 
traitement en fonction de chaque valeur de I'ecart de position maximum, 

5 - filtrer les images du couple stereoscopique d'images par convolution avec une 

fenetre de convolution, 

- filtrer I'image de bruit par convolution avec ladite fenetre de convolution, 

- inteipoler dans une geometric epipolaire le couple stereoscopique d'images. 
r etape de traitement des images comprend en outre les etapes consistant a : 

10 - effectuer une convolution des images du couple par une fenetre de convolution, 

- effectuer xm zoom de taille 2 des images du couple stereoscopique. 

Tetape de determination de la fenetre de correlation optimale consiste ^ pour 
chaque point de la premiere image : 

- calculer une courbure de la premiere image pour chaque taille de fenetre de 
15 correlation, 

- calculer une cotirbure de Timage de bruit pour chaque taille de fenetre de 
correlation, 

- calculer, pour chaque taille de fenetre de correlation, le rapport (SNRc) des 
courbures precedentes, 

20 et a choisir la plus petite taille de fenetre de correlation telle que ledit rapport soit 

superiexxr a chaque parametre d'exhaustivite saisi par Tutilisateur. 
r etape de traitement des images comprend en outre me etape consistant a 
effectuer Txne interpolation de la deuxieme image grace a une carte des ecarts de 
position obtenue pour un niveau de resolution precedent. 

25 - r etape de traitement des images comprend en outre les etapes consistant a : 

- rejeter les points homologues issus de fenetres de correlation de plus grandes 
tallies et contenant des fenetres de correlation de plus petites tailles, 
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- rejeter les points homologues de rayons de courbure v6rifiant une condition de 
rejet apres interpolation de la deuxieme image, 

- completer iterativement, dans la carte des ecarts de position correspondant au 
niveau de resolution courant, des points d' ecarts de position lacunaires en 

5 - fonction des points d'ecarts de position existants, 

- lisser la carte des ecarts de position correspondant au niveau de resolution 
courant par une fenetre de convolution, 

- composer la carte des ecarts de position calculee pour le niveau de resolution 
courant avec la carte des ecarts de position calculee pour le precedent niveau de 

10 resolution afin de mettre a jour ladite carte des ecarts de position calculee poxir le 

niveau de resolution precedent 

Tetape de rejet des points homologues verifiant une condition de rejet consiste a, 
pour le point courant : 

- calculer sur la premiere image les courbures de ses deux points voisins suivant 
1 5 chaque direction de traitement, 

- calculer I'ecart inferieur des courbures des 4 connexes au point courant de la 
premiere image, 

- calculer, dans la deuxieme image, son point homologue inteipole par la carte 
des ecarts de position, 

20 - calculer Tecart entre sa coxarbure et celle du point homologue, 

- rejeter le point homologue si cet ecart est plus important que I'ecart inferiexar 
calcule sur la premiere image. 

Tetape d'obtention, pour le niveau de resolution le plus fin, de la carte des ecarts 
de position, comprend Tobtention : 
25 - d'au moins un tableau repr6sentant la carte des ecarts de position suivant 

chaque direction de traitement, 

- d'au moins un tableau representant ime carte des tallies des fenetres de 
correlation employees en tout point non rejete de la premiere image, suivant 
chaque direction de traitement 
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les fen§tres de convolution et de correlation utilisees sont des fenetres de 
convolution et de correlation de type prolate. 

L'invention conceme egalement un ensemble d'acquisition et d'appariement 
d'xin couple stereoscopique d'images comprenant un systeme d'acquisition d'un couple 
stereoscopique d' images et un systeme de traitement du couple stereoscopique acquis 
dans lequel 

le systeme d'acquisition du couple stereoscopique comporte un instrument 
d'acquisition xmique comprenant deux capteurs CCD dans le'plan focal optique, 
chaque capteur CCD permettant I'acquisition d'une image, le systeme d'acquisition 
etant destine a fonctionner avec des coefficients stereoscopiques de quelques 
centiemes, et 

le systeme de traitement comporte : 

- des moyens aptes a traiter les deux images du couple stereoscopique, selon au 
moins une direction de traitement et selon differents niveaux de resolution du plus 
grossier au plus fin, lesdits moyens de traitement comprenant des moyens qui, pour 
chaque cliangement de niveau de resolution, sont aptes a : 

- determiner, en chaque point de la premiere image, tme fenStre de correlation 
optimale, 

- calculer, par correlation avec les fenetres de correlation determinees, les ecarts 
de position entre chaque point de la premiere image et son liomologue 
radiometrique dans la deuxieme image, 

- obtenir, pour le niveau de resolution courant, une carte des ecarts de position 
entre chaque point de la premiere image et son homologue radiometrique dans la 
deuxieme image, 

- effectuer un recalage barycentrique des points de ladite carte obtenue, 

- des moyens aptes a obtenir, pour le niveau de resolution le plus fin, la carte des 
ecarts de position entre chaque point de la premiere image et son homologue 
radiometrique dans la deuxieme image. 
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L'invention conceme egalement im systeme d'acquisition pour un ensemble 
d' acquisition et d'appariement d'un couple stereoscopique d'images comprenant le 
systeme d'acquisition d'un couple stereoscopique d'images et un systeme de traitement 
du couple stereoscopique acquis, 

le systeme d'acquisition du couple stereoscopique comportant un instrument 
d'acquisition unique comprenant deux capteui's CCD dans le plan focal optique, chaque 
capteur CCD permettant Pacquisition d'une image d'un couple stereoscopique d'images, 
le systeme d'acquisition etant destine a fonctionner avec des coefficients 
stereoscopiques de quelques centiemes. 

PRESENTATION DES FIGURES 

D'autres caracteristiques et avantages de Tinvention ressortiront encore de la 
description qui suit, laquelle est purement illustrative et non limitative et doit etre lue en 
regard des dessins annexes, sur lesquels : 

- La figure 1 illxxstre une scene representee dans un couple stereoscopique 
d'images; 

- La figure 2 illustre une vue d'une scene de la composante en colonnes, d'lm 
decalage sinusoidal injecte, et du resultat de la mesure de ce decalage par 
correlation ; 

- La figmre 3 illustre une vue en perspective d'un systeme de stereoscopie ; 

- La figure 4 illustre un grapliique representant le taux de correlation suivant une 
direction d'une image de type SPOTS en fonction de I'ecart de position entre le 
point courant de la premiere image et le point courant de la deuxieme image, le 
point courant correspondant dans chaque image au point correl6 ou point au 
centre de la fenetre SPOTS (cf. p 23) ; 

- La figure S illustre un graphique representant le tanx de correlation d'xme fenetre 
de type hypomode carre 2X2 en fonction de I'ecart de position entre le point 
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courant de la premiere image et le point cowaat de la deuxieme image, le point 
coiirant correspondaat dans chaque image au point correle ou point au centre de 
la fenetre ; 

- La figure 6 illustre im graphique representant le taux de correlation d'xxae fenetre 
de type prolate en fonction de I'ecart de position entre le point conrant de la 
premiere image et le point conrant de la deuxieme image, le point courant 
correspondant dans chaque image au point correle ou point au centre de la 
fenetre ; 

- La figure 7 illustre une vue d'une sc^ne, des points de la scene conserv6s apres 
application d'un critere en ligne, des points de la scene conserves apres 
application d'un critere en colonne, et des points de la scene conserves aprds 
application d'xm critere en ligne et en colonne ; 

- La figure 8 est un graphique de la variation de la precision altimetrique en 
fonction du coefficient stereoscopique pour quatre methodes diSerentes 
d'appariement d'images ster^oscopiques (fenetres cr6neaux5 prolates, prolates + 
recalage barycentrique) ; 

La figure 9 illustre une vue d'un instrument dedie a la stereoscopie ; 

La figure 10 illustre une vue en perspective de deux images formant un couple 

stereoscopique d'images et de la scene observee ; 

La figure 11 illustre ime vue d'un couple d'images presentaat chacune trois 
reponses impulsionnelles ou fonction de transfert de modulation (FTM) ; 

- La figure 12 illustre des etapes de correlation et de recalage barycentrique du 
procede d'appariement d'image. 



DESCRIPTION D*UN MODE DE REALISATION DE L^INVENTION 



wo 2005/093655 



PCT/FR2005/000752 



16 

La presente invention va maintenant etre detaillee en reference aux figures 1 a 
12. Les elements equivalents representes dans les differentes figures portei'ont les 
memes references numeriques. 

Le precede ci-presente pennet le calcul de cartes precises des ecarts de position 
5 entre images de couples stereoscopiques ayant des coefficients stereoscopiques faibles 

avec la meme precision altimetrique que pour des coefficients stereoscopiques forts. Ce 
procede fonctionne jusqu'a des coefficients stereoscopiques tres faibles (0.01) sans 
degrader la precision altimetrique. 

On entend, dans le cadre de la presente invention, par « coefficient 
10 stereoscopique faible», un coefficient stereoscopique de quelques centiemes, plus 

pfecisement, im coeflBcient stereoscopique inferieur a 0,1, pliis precisement encore 
compris entre 0,1 et 0,01 (i.e. compris entre un dixieme et tin centieme). 

Pour acquerir et apparier un couple stereoscopique d'images a faible coefficient 
st6r6oscopique, on presentera un ensemble d'acquisition et d'appariement comprenant 
15 un systeme d' acquisition pour I'acquisition d'un couple stereoscopique d'images a faible 

coefficient stereoscopique, et un systeme de traitement permettant le traitement du 
couple stereoscopique d'images acquis. 

Uacquisition d'un couple stereoscopique d'images a faible coefficient 
stereoscopique (b/h. faible) presente I'avantage de limiter les parties cachees, c'est-a-dire 
20 des parties n'apparaissant que dans Tune des deux images, et par exemple de voir le fond 

des rues en ville. En effet, corrnne Tillustre la figure 3, les parties cachees 14, sont liees 
a I'acquisition par un capteur CCD 15 ou 16 d'une prise de vue obUque 2D d'un objet 
3D. Aussi, I'acquisition sous coefficient stereoscopique faible permet une mise en oeuvre 
plus automatique de la realisation des cartes des ecarts de position entre couples 
25 d'images en evitant la gestion, toujours laborieuse, des parties cachees. 

Les differentes 6tapes ayant conduit a la determination du procede et du systeme 
vont maintenant etre presentees. 

Les modeles utilises en traitement d'image sont des modeles discrets. Cependant, 
il est souvent plus facile de commencer par raisoimer sur un modele continu, et de passer 
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ensuite au cas discret. C'est cette approche qui est utilisee dans la suite pour decrire la 
methode d^appariement d'image. 

1. Modelisation continue de la correlation umdirectioimelle 

5 

La determination du modele continu de la correlation unidirectionnelle va 
conduire a Tobtention d'une equation permettant de relier la mesure de T&art de 
position effectuee par I'operation de correlation suivaat une direction de traitement en 
fonction de la valeur reelle de Tecart de position, Cette equation mettra en evidence le 

10 d6faut precederoment indique de la correlation, dit "adherence". Un traitement ' 

permettant de limiter ce phenomene d' adherence sera ensuite presente. Enfin, une 
seconde relation, a savoir une condition morphologique directionnelle locale dont 
depend la precision de Tecart de position mesur6 sera egalement obtenue a Tissue de la 
modelisation continue de la correlation unidirectionnelle. 

15 Dans cette partie, il est fait Thypothese d'une direction unique des cartes des 

ecarts de position, par exemple suivant des droites dites epipolaires, et dont une 
definition va maintenant etre domiee. Comme illustre a la figure 10, dans un couple 
stereoscopique, on definit Tensemble des plans epipolaires comme etaat Tensemble des 
plans passant par les deux centres optiques CI et C2. 

20 Les points P, PI et P2 font respectivement partis de la scene 38, de la premiere 

image 36, et de la deuxieme image 37 du couple stereoscopique. II apparait que pour 
tous les points de la scene 38, le point P et ses points images PI et P2 appartiennent au 
meme plan epipolaire 35. Les droites intersection des plans images 36 et 37 avec le plan 
epipolaire 35 sont les droites epipolaires. Celles-ci sont connues puisque les positions 

25 des capteurs CCD CI et C2 sont coimues. 

La formulation continue du coefficient de correlation non lineaire est effectuee 
dans le cas d'tm couple stereoscopique d'images faiblement bruitees. Le coefficient de 
correlation suivant la direction du vecteur imite v dans un voisinage centre en {t} est : 
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( • est I'operateiir de correlation, I est Timage de reference, ^ est rimage a apparier et cp 
lafenetre). . . - 



On cherche Tecart de position vectoriel At qui maximise ce coefficient de 
correlation. En effet, I'ecart de position poxir lequel la correlation est maximale 
correspond a Tecart de position entre les coordonnees d'un point de la premiere image, 
et les coordonnees de son homologue radiometrique dans la deuxieme image. 

Soit u(t) la fonction vectoiielle qui a tout point t de Timage associe At. Ce 
coeflScient de correlation est calcule a partir d'un rapport, il est done non lineaire. Les 
ecarts de position etant des differences de positions locales relatives, la recherche de 
Tecart de position maximisant le coefficient de correlation peut 8tre ramenee a une 
recherche autour du point to=0. 

On obtient : 

^(P'I'I(x + UQ)dx 

Po (Mo) = I, \ r - 

^^(p-r {x)dx^ (p*I^{X'\-UQ)dx 

ou ||/|[^^ est ime constante, et uO = u(0) = At, I est Timage de reference, I est Timage a 
apparier et 9 la fenetre . 

L'objectif est de rechercher uO tel que ce coefficient de correlation soit 
maximum. La formule I (x)=^ I{x + s{x)) permet le passage d'une image du couple 
stereoscopique a Tautre par un « petit » deplacement de pixels (on donnera un sens 
particulier au terme « petit » par la suite). Un pixel est Telement le plus petit d'lme 
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image auquel on puisse associer individuellement m niveau de gris representatif d'lme 
intensite. 

En effectuant un developpement limite au deuxieme ordre, suivant la direction du 
vectexjr nnitaire v centr6 en {0} et apres remplacemeht de / par sa valeur approchee en 
fonction de/, le coefficient de correlation devient : 



ou r est la derive de I suivant v . 
Equation reliant la mesure de Pecart de position a sa valeur reelle 

La recherche du maximum du coefficient de correlation precedent conduit a 
rechercher rannulation dans une direction quelconque de traitement de la derivee de ce 
coefficient de correlation, 

Soit u la mesure de la valeur de Pecart de position suivant la direction v au point 
t correspondant au maximum du coefficient de correlation (p-0) et soit s Tecart de 
position reel suivant cette m8me direction. 

L' equation fondamentale de la correlation non lineaire est alors 



ou C = —9) * d est la courbure de correlation suivant la direction v , avec q> la fenetre 



Pv(wo) = l- 



mi ml. 



u^c=(p^[s^dii,r)] 



de correlation et d(I,r) = 



est la quasi-densite de correlation 




et ^(^) = ^ . EUe ne depend que de I'image de reference I et de sa derivee. 
Toutes les derivees sont exprimees dans la direction de traitement v . 
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Cette relation fondamentale de la correlation permet de relier la mesure de Tecart 
de position effectue par I'operation de correlation a la valeur reelle de Tecart de position, 
et ce sans passer par le calcul explicite de la correlation, calcul toujours tres couteiix en 
temps. 

5 On remarque, en observant la formnle permettant d'obtenir la quasi-densite de 

correlation, que celle-ci est principalement fonction de I'^. Cette quasi-densite de 
correlation est done trds sensible aux contoxn^, et plus generalement aux singularites 
(points oil certaines quantites deviennent infinies). Pour pallier ie probleme d' adherence 
suscite, on utilise une methode dite de recalage barycentrique pennettant de revenir a 
10 Tecart de position vrai. Cette methode va maintenant etre decrite. 

Methode de recalage barycentrique 

La methode dite de recalage barycentrique prend sa source dans la constatation 
15 suivante. L'equation fondamentale au point de coordonnee, par exemple 0, devient si 

Pimage a une quasi-densite concentree en {xo'}, 

5(xo')«-w(0) 

Ceci signifie que la mesure au point 0 est egale a Pecart de position vrai au point 
{xo'} (au signe pres). II s'agit precisement du phenomene d'adherence cit6 plus haut. 
20 Le phenomene d' adherence de Timage affecte au point courant Tecart de 

position vrai issu majoritairement d'un autre point plus singulier. 

La methode de recalage barycentrique va done consister a rechercher la position 
la « plus singuli^re » dans la fenStre de corr61ation utilis6e au point courant, et a affecter 
a cette position la plus singuliere la valeur de I'ecart de position mesur6e au point 
25 courant. 

La fendtre de correlation (p est positive et Ton se place en 0. On recherche le 
barycentre sur le support de (p dont la quasi-densite est (p(x)d{x) . 
II s'agit de la position : 
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J OP(x)q> (x)d(x)dx 



OG^ ^ 

j <p(x)d(x)dx 



on le vecteur OP decrit le support de ^ . Si la masse est concentree autour du 

centre de gravity alors Tint^grale se restreiiit au voisinage du centre de gravite V(OG) . 
De plus, Tecart de position pent etre considere comme constant dans ce petit voisinage. 
D'oii 

^s(x)(p(^x)d(x)dxf=^ ^ s(x)q)(x)d(x)dx w s{pc)C 

V{G) 

Done 



s{OG)^-u{0) 

Tous les termes de la relation precedente sont connus et done calculables. 11 suffit 
10 d'affecter la valeur mesuree du decalage u(0) au point de coordonnees G. 

Une relation permettant de relier la mesure de recart de position effectuee par 
Toperation de correlation a la valeur reelle de Tecart de position ainsi qu'un traitement 
permettant de palier au probleme d' adherence de la correlation vieiment done d'etre 
presentes. Comme indique dans la presentation du modele, une seconde relation, a savoir 
15 ime condition morphologique directionnelle locale va maintenant Stre d6termin6e. 



Condition morphologique directionnelle locale 



20 



La recherche du maximimi de la surface de correlation permet de retrouver a 
partir d'un point de la premiere image son homologue radiometrique dans la dexixieme 
image. 
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Cette recherche du maximum impUque que la derivee seconde du coefficient de 
correlation soit strictement negative afin qu'il n'y ait pas plusieurs maximimis a la 
surface de correlation. En effet, la presence de plusieurs maximxmis a la nappe de 
correlation rendrait ambigue la determination du point homologue. 

L' expression de cette derivee seconde suivant la direction v est appel6e relation 
morphologique, 

P"=C 

p"=C est appele courbure de correlation suivant la direction v . La courbure doit etre 
suffisante, et xme expression quantitative en fonction du bruit va maintenant etre donnee 
auterme "suffisante". 

En admettant que la nature du bruit soit connue, par exemple un bruit Gaussien 
d'ecart type a et que ce bruit ait ete regularise par une Gaussienne g (ecart type typique 
de 0.5 pas de quantification) 

Q = , ou jLi(q>) est I'integrale de <p. 

Alors le rapport signal a bruit de courbure de correlation se definit par : 

La condition de correlation est : SNRq superieur a un seuil de Tordre 
preferentiellement de 10 (un ordre de grandetir) qui pennet de choisir les points retenus. 
Si cette condition est remplie, le bruit peixt etre neglige dans le calcul des relations 
fondamentales et morphologiques, et le modele 6tabli plus haut est applicable. 

Une condition morphologique vient done d'Stre etablie. Cette condition 
morphologique ne depend pas de Tecart de position. II s'agit d'un restiltat d'une 
importance pratique non negligeable. En efifet, il est possible de verifier en tout point de 
rimage la realisation de cette condition et ceci sans recourir au calcul laboriexjx de la 



_C 

p=r qui est independant de Timage. 
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correlation elle-meme. Ce resultat justifie a posteriori le choix du coefficient de 
correlation pondere. 

On a done effectue ici la modelisation continue de la correlation non lineaire 
xmidirectionnelle. II reste a passer au cas discret puisque une image est une suite de 
points et par consequent un modele discret. 

2. Modelisation discrete de la correlation non lineaire unidi rectinnnelle 

La modelisation fine du calcul du coefficient de correlation discret conduit, 
comme il va 6tre precise ici, a : 

effectuer un zoom de facteur 2 sur le couple d'images, 
choisir un type de fonction comme fenetre de correlation, 
- interpoler les images d' entree et la nappe de correlation avec xm filtre sinus 
cardinal. 

Enfin m test d'arret des iterations pour une direction de traitement et im calcul 
multi niveaux de resolution, dit multiechelle, seront effectues. 



Echantillonnage 



Apres avoir effectue un echantillonnage de boime qualite, c'est-a-dire S = R,o\i 
S est le support spectral de Timage et R la cellule reciproque correspondant a 
rechantilloimage, on calcule le coefficient de correlation entre les images numerisees 
d'un couple stereoscopique. Ce calcul necessite de bien exprimer 11' et qui "vivent" 
spectralement dans R+R que Ton nommera tout simplement 2R. Le calcul du coefficient 

de correlation Pqk^o)- , _ = a partir de son numerateur et de son 

lML>*^'("o) 

denominateur necessite un bon echantillonaage de T image au carr6. 
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Une solution preferee pour calculer le coefficient de correlation est de calculer 
separement numerateur et denominateur, puis d'en realiser le quotient. En effet, le calcul 
direct fait intervenir les derivees au carre par exeniple dans F expression faisant 

intervenir /X^)^ (c£ relation fondamentale). 

Ces deux calculs ne necessitent bien 6videnmient qu'en apparence le mSme 
support spectral 2S. Le calcul direct s'effectue sur des tennes bien plus Haute Frequence 
(HF) (tertne en P) que celui ou denominateur et numerateur (temxe seulement en P) sont 
calcules s6parement avant d'en faire le quotient . 
De plus, le calcul du denominateur fait intervenir un carre de Timage. 

Pour satisfaire aux conditions d'echantillonnage precedemment decrites, un 
zoom de deux sur les images du couple stereo scopique est realise. Ce zoom consiste, 
pour chacuae des images du couple stereoscopique, a doubler le nombre de points en 
ligne en inserant un point de valeur incoimue entre deux points de I'image de valexirs 
connueSj, a doubler le nombre de points en colonne en inseraait im point de valeur 
inconnue entre deux points de I'image de valeurs connues, et a determiner par 
interpolation les valeurs inconnues en utilisant les valeurs cordaues. En effet, 
r interpolation sur le zoom de deux est une estimation de valeurs ixitermediaires dans une 
serie de valeurs connues. L'interpolation sur le zoom de deux: des images doit etre 
precise. 

La methode utilise preferentiellement des filtres separables d'interpolation longs 
de type sinus cardinal pour les diverses interpolations. La taille du filtre sinus cardinal 
d'inteipolation de Timage pour effectuer un zoom sera preferentiellement de taille 35. Un 
filtre de type sinus cardinal sera egalement utilis6 pour realiser les interpolations sxir la 
nappe de correlation. On prendra preferentiellement un filtre sinus cardinal de taille 1 1 
pour les inteipolations sur la nappe de correlation lors de la recherche sous pixellaire du 
maximum de correlation. 

Une fois le zoom de deux realise, on calcule le coefficient de correlation entre les 
images numerisees du couple stereoscopique. Comme decrit precedemment, une fenetre 
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3 de correlation est necessaire pour calculer le coefficient de correlation entre les dexix 
images du couple. Les fenetres de correlation peuvent etre de differents types. 
Cependant, certains types de fenetres inininiisent I'impact de Terreur sur la mesure des 
ecarts de position. L' analyse ayant conduit a la determination d'un type prefere pour la 
5 fenetre de correlation va maintenant Stre presentee. 

Determination d'un type prefere pour la fenetre de correlation 

Au voisinage du maximum, la nappe de correlation doit etre convexe afin 

10 d'assurer la convergence de Talgorithme de recherche du maximum principal. En effet, si 

la nappe de correlation n'est pas convexe, cela signifie que plusieurs points de la 
deuxieme image du couple d'images peuvent potentiellement corxespondre au point 
courant dans la premiere image. 

Or un seul de ces points est le juste point, c'est-^-dire I'homologue radiometrique 

15 vrai, du point courant de la premiere image. Pour une image de reponse impulsioimelle 

connue, le voisinage de taille maximum assurant cette propriete de convexite du 
maximum de la nappe va done maintenant etre recherche. 

L' element le plus fin qui puisse etre trouve sur ime image est egal a la reponse 
impulsionnelle. Des lors, il suffit d'etudier numeriquement la forme de la nappe de 

20 correlation pour un couple d^images identiques reduites a trois reponses impulsionnelles 

distantes de la longueur Al appartenant a Tintervalle en pixels [0;7], et de rechercher la 
distance maximum entre les deux reponses impulsionnelles preservant une nappe de 
correlation convexe. Alors, cette valeur correspond a Texploration maximale possible et 
elle donne un sens a la notion d'ecart de position dit "petit" utilisee en introduction du 

25 modele d'images, 

L' analyse ID est suffisante dans le cas de reponses impulsiomielles separables. 
Pour realiser Tanalyse ID, on prend deux images 1,2 identiques presentant des reponses 
impulsionnelles 301, 302, 303 distantes de Al 304, comme illustre a la figure 11. Le fait 



wo 2005/093655 



PCT/FR2005/000752 



26 

de prendre deux images identiques potir former le couple stereoscopique d'images induit 
que les homologues geometrique et radiometrique dans la deuxieme image d'un point de 
la premiere image sont confondus. On fait ensuite glisser suivant la direction d'analyse, 
la fenetre 3 de correlation le long de la deuxieme image 2. 

Poiir chaque deplacement de 1 point de la fenetre de correlation 3, on calcule la 
correlation. On obtient les graphiques des figures 4, 5 et 6 presentant le taux de 
correlation entre les deux images identiques en fonction de la position de la fenStre 3 de 
correlation sur la deuxieme image. 

L'abscisse x=0 correspond au cas 300 ou la fenetre de correlation est placee sur 
rhomologue geometrique du point courant de la premiere image, c'est-a-dire que Toil 
mesure le coefficient de correlation entre un point de la premiere image et soxi 
homologue radiometrique vrai dans la dexixieme image. 

L'abscisse x=l correspond au cas ou la fenStre de correlation est decalee dans la 
deuxieme image de 1 point par rapport a la position de Thomologue radiometrique vrai. 

L'abscisse x=2 correspond au cas 310 oil la fenetre de correlation est decalee 
dans la deuxieme image de 2 points par rapport k la position de I'homologue 
radiometrique vrai, et ainsi de suite. 

Les resultats de la correlation sont donnes aux figures 4, 5 et 6 poxir les cas 
SPOT 5 THR (figure 4), Hypomode standard (agglomeration par paquet de 2x2 des 
pixels tout en conservant le meme echantillonnage) (figure 5) et prolate (figure 6). Ces 
figures sont des graphiques. Les fonctions tracees dans ces graphiques representent les 
nappes de correlation. 

Comme on pent le remarquer a la figure 4, avec une fenetre de correlation de 
type SPOTS, Tecart de position maximum entre deux reponses impulsionnelles pour 
conserver xme nappe convexe (i.e. presentant xm seul maximum) est d'xrn pixel. II faudra 
done avoir une zone d'exploration ne depassant pas le pixel. En effet, pour la distance Al 
= 1, on a une nappe de correlation convexe. Par contre, pour la distance Al = 2, on a 
plusieurs maximums a la nappe de correlation. 
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.Comme illustre a la figure 11, ces maximtams correspondent au cas 300 oil la 
fenetre de correlation 3 est placee sur I'liomologue radiometrique wai du point cotirant 
de la premiere image, et a d'autres cas ou la fenetre de correlation est decalee par rapport 
a rhomologue radiometrique vrai. 

On pent observer quatre maximums secondaires pour x=2, x~-2, x=4 et x=-4. Le 
cas 3 10 est obtenu pour x==2, c'est-a~dire lorsque la fenetre de correlation est decalee par 
rapport a I'homologue vrai dans la deuxieme image 2. Ce decalage est de deux points 
smvant la direction de traitement 

Le cas 320 est obtenu pour x=-2, c'est-a-dire lorsque dans la deuxieme image, le 
decalage de la fenStre de correlation par rapport a Thomologue vrai est de deux points 
dans la direction opposee a la direction de traitement Les cas 320 et 330 sont obtemis 
pour x=4 et x=-4. 

Pour ces quatre cas 310, 320, 330 et 340, on a quatre maximums a la nappe de 
correlation. La nappe de correlation nous donne done cinq points homologues au point 
courant de la premiere image. Or xm seul de ces homologues mesures est Thomologue 
vrai du point courant de la premiere image. C'est la raison pour laquelle il est necessaire 
d' assurer la convexite de la nappe de correlation. Avec une fenStre de type SPOT 5, 
Tecart de position maximtmi pour conserver ime nappe de correlation convexe est done 
de 1 pixel. 

Comme on peut le remarquer a la figure 5, 1'h^'pomodisation standard permet une 
exploration de 2 pixels. Cela signifie que I'ecart de position maximum que Ton peut 
observer entre deux points homologues est de deux pixels. 

Comme on peut le remarquer a la figure 6, la fonction prolate permet ime 
exploration de 4 pixels. 

La solution prolate assure la meilleure convexite elargie de la nappe de 
correlation et de fortes proprietes de continuite sur la mesure des ecarts de position. La 
fonction prolate possede la propriete d*6tre la fonction positive dont les supports sont les 
plus concentres simultanement en espace et en frequence. Une methode preferee 
utilisera done une fonction prolate corame fenStre de correlation. 
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II vient d'etre demontre que certains types de fenetres minimisent Timpact de 
rerreixr sur la mesure des ecarts de position. Cette recherche de la precision de mesure 
conduit a opter preferentiellement pour une fenetre de correlation egale a la fonction 
prolate (le lecteur aura compris que Ton peut opter pour un autre type de fenetre de 
correlation tel qu'xme fenetre de correlation de type hypomode, spot5, ou tout autre type 
de fenetre de correlation connue de rhomme de Tart). Par aillexurs, le phenomene 
d'adherence est d'autant plus faible que les fenetres sont de support spatial reduit (i.e de 
taille reduite). Pour miiiimiser le phenomene d' adherence, on utilisera done une fonction 
prolate de taille la plus petite possible compatible avec les conditions d'application du 
modele de correlation fine precedemment decrit et rappele ci-dessous. 

Determination en chaque point d'xme taille optimale de la fenetre de correlation 

n a precedemment ete defini un seuil morphologique SNRc lie a la precision de 
la correlation. De plus, rimpossibilite de resoudre I'equation fondamentale a ete 
indiquee. Ceci conduit k rechercher des fenetres de taille (ou dimension) la plus petit 
possible compatible avec ce seuil SNRc. 

Cette approche conduit a rechercher la prolate de support spatial le plus faible, 
c'est-a-dire de support spectral le plus important, remplissant la condition 
morphologique dans la direction de traitement. Une adaptation de la fenetre en tout point 
pour remplir au mieux la relation morphologique fondamentale va maintenant etre 
proposee : 

- Soit la suite de fonctions prolate {Pn} associee a la suite de supports 
spectraux circulaires decroissants {^n}- 

- Soit 9o egal a C le cercle inscrit dans 2R support spectral le plus 
grand possible sur Timage de zoom 2. 
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Alors, la recherche de la fenetre optimale se resume a trouver en tout point la 
fenetre de correlation de type prolate de support spectral circulaire maximal appartenant 
a la suite {Pn} et veiifiant la condition morphologique. Ceci est realise simplement par 
essais successifs des fonctions prolate de supports spectraux decroissants. 

Le lecteur aura compris qu'ime fenetre de support spectral maximimi est une 
fenetre de support spatial minimum. Par consequent, on cherchera la fenetre de 
correlation de type prolate de taille (support spatial) la plus petite verifiant la condition 
morphologique decrite precedemment. 

Traitement multiechelle 

La limite d' exploration imposee par le type de fenetre de correlation d'une part, 
et par la recherche en tout point de la taille de fenetre la plus petite d' autre part, ne 
permettent pas de determiner les points homologues radiom6triques d'xm couple 
ster6oscopique lorsque Tecart de position entre ces points est important 

Ce resultat conduit a envisager un traitement en niveaux de resolution 
(multiechelle), car il permet par variation de la resolution de Timage de preserver les 
conditions de convexite de la nappe quelle que soit Tamplitude de I'ecart de position 
recherche. Une variation de la resolution est une variation de la definition du pixel. 

Par exemple, si une image est representee sur un ecran de 21 cm en ligne et l8 
cm en coldnne. Et si cette image presente 210 pixels en ligne et 180 pixels en colonne, 
alors cette image presente un niveau de resolution de 10 pixels par centimetre. Une 
diminution du niveau de resolution (passage d'un niveau de resolution fin a un niveau de 
resolution plus grossier) va correspondre a xme diminution du nombre de pixels en ligne 
et en colonne pour representer Timage. Pour une diminution de 10 du niveau de 
resolution, on n'aura plus que 21 pixels en Ugnes et 18 en colonne, soit un niveau de 
r6solution de un pixel par centimetre. 

Uapproche multi niveaux de resolution (multiechelle) dyadique est necess.aire 
pour remplir la condition de convexite de la nappe de correlation quelle que soit 
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Tamplitude des ecarts de position. Le couple d' images est degrade en resolution (i.e. on 
diminue le niveau de resolution) par convolution par uae prolate de support spectral de 
rayon vc/s, ou « tq » est le rayon correspondant a I'image zoomee d'un facteur 2, et « s » 
est le niveau de resolution courant. 

La descisnte en niveau de resolution necessite de boucher les trous, c^est-a-dire 
d'estimer la valeur des points non renseignes des cartes des ecarts de position. Un point 
non renseigne est un point de la carte des ecarts de position dont on ne connait pas la 
valeur. Les trous sont bouches iterativement par convolution avec une prolate circulaire 
de rayon 7 par exemple. A chaque iteration les points manquants sont tour a toxH- 
renseignes. Ainsi est calcule une carte exhaustive des ecarts de position entre les points 
de la premiere image et leur homologue radiometrique dans la deuxieme image. 
Uiteration a chaque niveau de resolution consiste par interpolation successive a corriger 
geometriquement a I'aide de cette carte suivant xme direction, par exemple la direction 
epipolaire, la deuxieme image poiu: la rendre de plus en plus semblable 
geometriquement k la premiere image. 

En outre, il est possible — si le cas epipolaire n'est pas pur - d*explorer 
successivement les directions orthogonales (ligne et colonne), de calculer 
successivement des ecarts de position monodirectionnels par correlation, et deffectuer 
les interpolations unidirectionnelles correspondantes. La connaissance des ecarts de 
position maximaux en ligne et colonne induisent une profondeur de traitement en niveau 
de resolution potentiellement differents suivant les lignes et les colonnes. Le nombre de 
niveaux de resolution dyadiques necessaires est : 

- en ligne : si=log2(maxJ), 

-et en colonne : Sc=log2(max_c), 

oil max_l et max_c sont les ecarts de position maximaux respectivement en ligne et 
coloime. 

A chaque niveau de resolution, les operations d'inteipolation de la deuxieme 
image, suivant les cartes des ecarts de position monodirectionnels successives calculees, 
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necessitent rapplication d'une formule de composition des cartes des ecarts de position. 
Apres chaque iteration est effectuee la composition entre la carte des ecarts de position 
entre .Fimage interpolee et la premiere image et la carte des ecarts de position qui a 
pemiis de generer Timage interpolee (c*est-a-dire la carte des ecarts de position de 
riteration precedente). Ainsi, les erreurs d'interpolation ne se cumulent-elles pas a 
travers les iterations car nous sommes toujours dans le cas de la composition de deux 
ecarts de position au maximum. 

La disparite composee avec recalage barycentrique apres deux iterations 
s'exprime de la maniere suivante (sachant que la premiere est toujours regularisee et sans 
trous de correlation) : 

Soit 81 la premiere carte des ecarts de position entre Timage 7 et la premiere 

image /. Cette fonction est continue et regulidre. 

Soit Ii(ri)~I {n + si(n-^i)) Timage / conigee des ecaits de position de 
barycentre ou wi(«)«-£i(«-<5i)et l2i^'^)-h(j^'^^2(j^'^^2))^ Timage 
corrigee des ecaits de position ^2 de barycentre ^2 ou U2{fn)^-S2(m-^2) - 
ui(n) et U2(m) sont les mesures d' ecarts de position mesures 
barycentriquement, alors : 

Critere de rejet des points mal apparies 

n a ete precedemment fait mention de points non renseignes. Un point non 
renseigne est un point de la premiere image dont Pappariement avec un point de la 
deuxieme image a ete rejete (c*est-a-dire un point dont on suppose que Tappariement est 
errone). Le critere de rejet des points de fausse correlation consiste a comparer point a 
point les coxarbures de correlation entre la premiere image et la deuxieme image corrigee 
des ecarts de position (interpolee dans la grille de reference). 
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Un point est rejete a chaque niveau de resolution quand recart entre les valeurs 
de courbures entres les deux images est superieur a une valeur. Cette valeur est egale au 
minimum d'ecart aux 4 points connexes du point courant de la premiere image (les 
points connexes du point courant sont les points voisins du point courant situes au 
dessus, en dessous, a droite et a gauche du point courant). 

Enfin, pour chaque direction de traitement et pour le niveau de resolution de 
rimage, les points calcules a partir de prolate de supports contenant une prolate de 
supports plus petits sont ^limines car la correlation en ces points est de precision 
obligatoirement plus faible. 

3. Methode de correlation fine bidirectionnelle 

Le cas de la methode de correlation jHne unidirectionnelle a 6t6 expos6 ci-dessus 
pour faciliter la comprehension du modele. Le cas de la methode de correlation fine 
bidirectionnelle va maintenantetre present^. 

Les images du couple stereoscopique sont r66chantillonnees en geometric 
epipolaire suivant les lignes ou les coloimes par interpolation. La recherche des tableaux 
de disparite 2D est effectuee altemativement suivant les lignes et les colonnes. La 
difficulte majeure de restitution de la table des ecarts de position est generalement celle 
suivant la direction epipolaire. 

Les ecarts de position provoques par le relief sont en general tres haute frequence 
alors que ceux suivant la direction orthogonale sont souvent provoques par des 
vibrations du porteur et sont basse frequence. Ceci autorise des fenetres de traitement de 
plus grandes tailles suivant la direction perpendiculaire aux epipolaires. Cette difference 
sera naturellement geree par le choix d'un rapport signal a bruit plus important suivant la 
direction orthogonale aux epipolaires que suivant la direction epipolaire. 

La condition fondamentale unidirectionnelle si v est la direction epipolaire est 
la relation unique : 
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C^/Ch>SNR^ 

La figure 7 presente le masque 23 des points conserves apres application du 
crit^re de la courbure geometrique sur I'image de type campagne 20 avec une fenetre 
9x9 de t3^e prolate. Ce masque 23 des points conserves est obtenu en faisaut 
5 rintersection du masque 21 des poiats conserves apr^s application du critere en ligne, 

avec le masque 22 des points conserves apres application du critere en colomie. 

Les zones noires de Timage correspondent aux points ayant ete rejetes apres 
application de la condition morphologique. Les poiats en blanc representent les points 
conserves. Les images de la figure 7 sont representees en noir et blaac pour une 
10 meilleure visualisation des points conserves. 

Comme Tillustre la figure 7, le masque 21 applique en ligne presente 57.29% de 
points conserves, le masque 22 applique en coloime presente 53.52% de points 
conserves, enfin, le masque 23 intersection des deux precedents presente seulement 
45.64% de points conserves. Cette illustration confirme Tavaatage non negligeable de 
15 I'utilisation du repere epipolaire qui implique une condition moiphologique 

nnidirectionnelle. 

4- Methode de correlation fine miiltidirectioimelle 

20 L'image ainsi iateipolee est ensuite aualysee suivaat sa direction orthogonale. Ce 

proced6 est itere. 

5. Proced6 d'appariement mis en place a partir du modele de correlation fine 

25 Le procede de calcul base sur la m6th.ode de correlation fine precedemment 

decrite va maintenant etre detaille en reference a la figure 11. Le procede de correlation 
s'adapte automatiquement a I'image des que Ton a fix6 le rapport signal a bruit de 
courbure de correlation SNRc. 



wo 2005/093655 



PCT/FR2005/000752 



34 

Ce precede de calcul est multi niveaux de resolution (multiechelle) dyadique. 
Cela signifie que le traiteraent aura lieu pour differents niveaxrx de resolution. Le 
nombre de niveaux de resolution est connu des que I'ecart de position maximale le long 
de la ligne et le long de la colonne Test 

Le procede de calcul base sur la methode de correlation fine est 
multidirectionnel. Les tallies de fenetres de correlation (prolate) sont calculees 
automatiquement en tout point et a tous les niveaux de resolution avec des fenStres de 
correlation qui peuvent 8tre tres differentes dans la direction epipolaire et la direction 
orthogonale. Elles sont fixees par le rapport signal a bruit de courbure de correlation 
different suivant la direction epipolaire et la direction orthogonale. On procedera en 
niveaux de r6solution croissants, c'est-a-dire du plus grossier au plus fin. 

A Donnees : 

La premiere etape du procede consiste a I'acquisition des donnees d' entree. Pour utiliser 

le procede, les donnees necessaires en entree sont les suivantes : 

le couple stereoscopique d'images, a savoir la premiere image et la deuxieme 
image. Ces deux images sont acquises a I'aide d'un systeme d' acquisition 
particulier decrit plus precisement dans la suite du document. Ce systeme permet 
Tacquisition d'vm couple d'images pour un faible coefficient stereoscopique. Ce 
systeme d' acquisition est im instrument unique comprenant 2 capteurs CCD, 
chaque capteur permettant T acquisition d'une image du couple stereoscopique. 
- I'ecart type du bruit et le type de fonction FTM (doimee) : a savoir « prolate », 
« spots », « hypomode ». . . 

les images du couples sont exprim6es en direction epipolaire ligne ou colonne, 
la valeur de Tecart de position maximum suivant les epipolaires et la valeur de 
Tecart de position maximum suivant la direction orthogonale. Ces valeurs 
representent les seuils maximums du decalage, suivant les deux directions de 
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traitement, entre im point de la premiere image et son homologue dans la 
deixxieme image. Ces valeurs vont permettre de determiner le nombre de niveaux 
de resolution necessaires pour trouver Thomologue dans la deixxieme image d'un 
point de la premiere image. 

B Parametres utilisateurs 

A Tetape suivante, Tutilisateur est invite a entrer un parametre d'exhaustivite 
pour le procede: 

- le choix d'un rapport signal sur bruit (SNR) talon de correlation suivant la 
direction epipolaire et le choix d'un SNR talon de correlation suivant la direction 
orthogonale : SNR_e, SNR_o, Preferentiellement on proposera SNR_e=10 et 
SlSIR_o=100. Ces parametres SNR_e et SNR_o vont servir de valeurs seuils dans 
la determination en chaque point de la premiere image, d'une taille optimale pour 
la fenStre de correlation suivant chaque direction de traitement. 

C Parametres algorithmiques 

Un certain nombre d'autres parametres sont preregles : 

le rayon maximtmi de la prolate circulaire de correlation. Ce rayon est le seuil 
definissant la taille maximum autorisee pour la fenetre de correlation. Ce rayon 
maximxmi sera preferentiellement egal a 25 pour un zoom image de 2. 

- le nombre d'iterations pour chaque direction de traitement, preferentiellement 
egal a 2. 

- le nombre d'iterations, lors du comblement de parties lacimaires de la carte des 
ecarts de position. En effet, le procede permet de deJBnir les ecarts de position 
entre les points de la premiere image et leurs homologues respectifs dans la 
deuxidme image, Tous les ecarts de position mesur6s sont places sur une carte 
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des ecarts de position. Cependant, parmi ces ecartSj cexox qui ne repondent pas a 
tin critere de ressemblance sont rejetes. La carte des ecarts de position presente 
done des points poxir lesquels Tecart de position entre un point de la preroiere 
image et son homologue dans la deuxieme image n'est pas renseigne. Ces points 
non renseignes de la carte des ecarts de position sont appeles parties lacunaires, 
et le nombre d'iterations lors du comblement de ces points est preferentiellement 
egal a 10. 

le zoom de 2 des images du couple a tous les niveaux de resolution. 
D Initialisation 

A partir des donnees d' entree, certains parametres sont initialises. 
On effectue done le calcul du. nombre de niveaux de resolution suivant la direction 
6pipolaire S_e et la direction orthogonale S_o en fonction des valeurs des ecarts de 
position maximxxms (suivant les deux directions de traitement) obtenues lors de la phase 
A. Le nombre de niveaux de resolution dyadiques necessaire est calcule a Taide de la 
formule du logarithme a base 2 des ecarts de position maximums en ligne et colonne 
precedemment citee : 

- s_e'=log2(valeur maximum du decalage selon la direction epipolaire), 

- s_o==log2(valevir maximum du decalage selon la direction orthogonale). 

Par ailleurs, les images d' entree doivent etre filtrees, lors du premier passage 
dans la boucle principale de traitement du procede de correlation. Ceci permet d'attenuer 
le bruit des images d' entree. On effectue done un : 

filtrage du couple stereoscopique d'images par convolution avec une fenetre de 
convolution. Cette fenetre de convolution sera preferentiellement xme prolate 
circulaire de rayon egal a 7. Cette operation de filtrage de la premiere et de la 
deuxieme image du couple permet de regulariser les points de ces images. 
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jSltrage de Timage de bruit par convolution avec une fenetre de convolution. 
Cette fenetre de convolution sera preferentiellement de type prolate circulaire de 
rayon preferentiellement egal a 7. L'interet de cette operation est la encore de 
regulariser les points de 1' image de bruit. 

interpolation dans la geometrie epipolaire du couple d'images. Les images du. 
couple stereoscopique sont reechantilloimees en geometrie epipolaire suivant les 
lignes ou les colonnes par interpolation. 

E Traitement pour chaque niveau de resolution 

On effectue alors le traitement des images du couple stereoscopique en niveaux 
de resolution dyadique, altemativement si besoin, suivant la direction epipolaire et 
orfhogonale k la direction epipolaire (fonction de la profondeur de traitement en niveaux 
de resolution suivant la ligne et la coloime). Pour le traitement, on commence par le 
niveau de r6solution le plus grossier et on passe progressivement au niveau de resolution 
le plus fin. Les etapes qui suivent seront effectuees pour chaque niveau de resolution et 
se divisent en deux categories qui sont la preparation des dormees et la correlation des 
images stereoscopiques : 

E.l Preparation des donnees 

L'etape de preparation des donnees est effectuee en realisant les etapes suivantes : 

la convolution des images du couple par la prolate (prolate circulaire de taille 
preferentiellement egale a 7 pour le niveau de resolution 1, prolate separable 
pour les autres). Cette convolution permet la diminution de la resolution des 
images de depart du couple. 

le zoom de deux de la premiere image, de la deuxieme image et de I'image de 
bruit. Ce zoom de deux est realise par interpolation a Taide d*une fonction de 
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type sinus cardinale. L'operation d'interpolation consiste a, pour chaque image 
interpolee : 

o doubler le nombre de points en ligne en inserant un point de valeur 
inconnue entre deux points de Timage de valeurs connues. 
5 o doixbler le nombre de points en colonne en inseraat un point de valeur 

inconnue entre deux points de I'image de valeurs connues. 
o deplacer une fenetre ponder6e de type sinus cardinale en chaque point de 
valeur -inconnue (le point de valeur inconnue etant situe au centre de la 
fenetre) et estimer la valeur de ce point grace aux points de valeurs 
10 connues grace a cette fenStre ponderee. 

- la determination de la fetiStre de correlation optimale (i.e. de taille la plus petite). 
Pour cela, on effectue le calcul en tout point de la premiere image du rapport 
signal sur bruit de courbure de correlation SNRc en fonction de la fenetre de 
corr61ation (prolate circulaire). Pxxis on choisit la plus petite fenetre de 
15 correlation, suivant la direction epipolaire et perpendiculaire, verifiant la 

condition / C£, > SNR^ . Cette determination est effectuee en realisant, en 
chaque point de T image, les etapes suivantes: 

o calcul de la courbure de correlation du bruit Cb sur Timage de bruit pour 
chaque taille de fenetre de correlation de type prolate. Ce calcul est 
20 realise en utilisant la formule de la courbure de correlation citee lors de la 

presentation du modele de correlation fine unidirectionnelle, 
o calcul de la courbure de correlation de la premiere image pour chaque 

taille de fenStre de correlation de type prolate,: 
o calcul pour chaque fenetre de correlation de type prolate du rapport signal 
25 sur bruit de courbure de corr61ation (SNRc) rapport des courbures 

precedentes, 

o choix (et stockage en memoire) de la plus petite taille de fenetre de 
correlation de type prolate tel que / C^\> SNR_^ et 



wo 2005/093655 



PCT/FR2005/000752 



l^v /C'^l ^ 'SNR^o (P^ exemple, si xme fenetre de correlation de taille 
16x16 et une fenetre de correlation de taille 8x8 v6rifient 
\CJC^\>SNR_^ et \C^/C^\> SNR_^, on choisira la fenetre de 
corr61ation de taille 8x8). 

E.2 Coixelation des images stereoscopiques 

Une fois les domiees preparees^ on effectue Tetape de traitement des donnees. 
Cette etape comprend les sous etapes qui suivent, dont certaines sont illustrees a la 
figure 12. Ces sous etapes sont reiterees pour chaque point de P image et suivant chaque 
direction de traitement : 

Pour chaque point de la premiere image, et pour chaque direction de traitement, 
on effectue : 

rinterpolation de la deuxieme image avec la carte des ecarts de position 
cumulus trouvee k Titeration precedente, c'est-a-dire pour le niveau de 
resolution precedent. Cette interpolation de Timage 2 est faite a Vaido de la 
carte des ecarts de position. 

le calcxil (3000) de Tecart de position d entre le point courant 2002 de la 
premiere image 2000 et son homologue radiometrique 2004 suppose dans la 
deuxieme image 2001. Ce calcul est effectue par correlation Idans la fenStre 
de correlation 2003 ponderee. Pour cela, on centre la feiietre de correlation 
2003 sur le point courant 2002 de la premiere image 2000, et on deplace la 
fenetre de correlation 2003 dans Paire de recherche 2006 de la deuxieme 
image 2001. L'aire de recherche 2006 est centree sur Thomologue 
geometrique O (dans la deuxieme image) du point courant 2002 de la 
premiere image 2000. On retient I'ecart de position pour lequel la valeur de 
correlation est maximale. 
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Ce calcul est realise pour tons les points de la premiere image 2000 et permet 
robtention d'xme carte des ecarts de position intermediaire 2005 (c*est-a-dire 
ime carte ou la technique de recalage barycentrique notamment n'a pas ete 
realisee). On effectue ensuite : 
5. - le recalage barycentrique (3001) a chiaque niveau de resolution au poiat pres 

de la carte des ecarts de position iatermediaire 2005. Ceci permet de limiter 
rimpact du phenomene d' adherence de la correlation precedemment 
presente. 

L'6tape de recalage baryceatrique, en un point, comprend les sous etapes 
10 consistant a : 

o detenmner le barycentre G des poiats de la premiere image 2000 
contenus dans la fenStre de correlation 2003 ayant servi pour la 
detenrdnation de Tecart de position entre le point conrant 2002 de la 
premiere image 20O0 et son homologue 2004 dans la deuxieme 
15 image 2001, 

o assigner a ce barycentre G la valeur de I'ecart de position d du point 
courant dans la carte des ecarts de position 2005. 
Ainsi, lors de Petape de recalage barycentrique, la valeur de Tecart de 
position calculee pour le point courant est decalee, dans la carte des ecarts de 
20 position, a la position du barycentre des points de la premiere image contenus 

dans la fenetre de correlation (utilisee pour le calcul de I'ecart de position 
entre le point courant et son homologue radiometrique suppose). 
Une fois le recalage barycentrique effectue 
- Pour une mSme resolution : 
25 - le rejet des points issus de fenetres de taille plus importante et contenant des 

fenetres de taille plus petite. En effet, la correlation en ce point k Taide de la 
fenetre de correlation de plus grande taille est de precision obligatoirement 
plus faible. 
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le rejet des points homologues de rayons de coiirbure trop differents apres 
r interpolation de la position de la deuxieme image. Povir cela, on va effectuer 
pour chaque resolution et direction : 

o le calcul de la courbure de correlation du point courant (point etudie) 

de la premiere image, 
o le calcul de la courbure de correlation de Thomologue dans la 

deuxieme image du point courant de la premiere image, 
o le calcul de la difference entre les deux courbures precedemment 
calculees (ecart entre les courbures de correlation du point courant et 
de son homologue dans la dexxxidme image), 
o le calcul de I'ecart de comrbure minimum entre les courbures de 
correlation des quatre voisins (dans la premiere image) au point 
courant et la courbure de correlation du point courant. 
o le rejet du point homologue si Tecart de courbure entre le point 
courant et son homologue est plus important que Tecart inferieur 
calcule sur les quatre voisins du point courant de la premiere image, 
le rebouchage iteratif (preferentiellemeat 10 iterations) des cartes des ecarts de 
position lacunaires en passant par les points existants. En effet, on a vu que les 
points homologues d' ecarts de courbixre trop differents etaient rejetes. Par 
consequent certains points de la carte des ecarts de position vont etre non 
renseignes. On effectue done un rebouchage iteratif de la carte des ecarts de 
position. De plus le recalage barycentrique produit des trous (points de la carte 
ou Pecart de position n'est pas renseigne), puisque I'ecart de position d'tm point 
pent etre assigne (ou translate) a un autre point lors du recalage barycentrique. 
Pour cela, on effectue : 

o la convolution par une fenetre de convolution de type prolate, 
o le rebouchage des points non renseignes de la carte des ecarts de 
position par convolution par une prolate. 
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le lissage de la carte des ecarts de position par une prolate separable 
correspondant au niveau de resolution coxirant (circulaire au niveau de resolution 
de rimage). Ce lissage permet de debruiter la carte des ecarts de position, 
a la composition de la table des ecarts de position courante avec celle calculee a 
la precedente iteration (cumul). Cette composition permet de mettre_a jour la 
table des ecarts de position calculee pour le niveau de resolution precedent. 
On effectue le traitement pour tous les niveaux de resolution en eliminant les 
points calcules avec une fenetre de correlation prolate contenant une fendtre de 
correlation prolate plus petite et ceci suivant les deux directions de traitement. On 
pbtient alors en sortie du proced6 la carte des ecarts de position pour le niveau de 
resolution le plus fin. 

F Sorties 

On obtient a la demiere etapes du procede les dormees de sortie du proc6de. II s'agit de 
tableatix de tallies egales a la taille de la premiere et de la deuxieme image. Ces tableaux 
sont : 

la carte des ecarts de position (2 tableaux), 

la carte des tailles de prolates (2 tableaux) en tout point renseigne (non rejete) de 
la premiere image au niveau de resolution le plus fin (le niveau de resolution le 
plus fin etant le niveau de resolution des images d'entree). 

Le procede presente ci-dessus est mis en oeuvre dans xm ensemble d' acquisition 
et d'appariement d'un couple stereoscopique d'images. Get ensemble d'acquisition et 
d'appariement comprend xm systeme d' acquisition et un systeme de traitement. Get 
ensemble d' acquisition et de traitement permet 1' acquisition et le traitement d'un couple 
stereoscopique d'images a faible coefficient stereoscopique. L' ensemble d' acquisition et 
de traitement presente Tavantage de limiter les parties cachees, c'est-a-dire des parties 
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n^apparaissant que dans Time des deux images, et par exemple de voir le foxid des rues en 
ville. 

Le systeme d' acquisition peut etre integre ou distant du systeme de traitement. 
Lorsque les systemes d' acquisition et de traitement sont distants, ils communiquent par 
des moyens de communication avec ou sans fil. 

Le systeme d' acquisition permet 1' acquisition des domiees d' entrees du procede 
(etape A du procede). Ce systeme d' acquisition est par exemple un satellite et comprend 
des moyens de cominimication (pour la communication avec le systeme de traitement), 
des moyens de traitement (de typo processeur), des moyens memoire (paxir stocker les 
images acquises) et un capteur optoelectronique (systeme optique + c^teurs CCD). 

Le systeme de traitement est programme pour mettre en oeuvre les etapes du 
procede d'appariement decrit precedemment. Ce systeme de traitement permet quant a 
lui de realiser Tappariement du couple stereoscopique d'images. Le systeme de 
traitement est par exemple une station de travail comprenant des moyens memoires 
(RAM, ROM) connect6s k des moyens de traitement tel qu'un processeur, des moyens 
de visualisation tels qu'un ecran d'affichage et des moyens de saisie tels qu'un clavier et 
une souris. Le systeme de traitement est comecte avec des moyens de commxmication 
afin de recevoir les images a apparier acquises par le systeme d'acquisitiou. 

Une comparaison de la methode de correlation fine avec des methades ne faisant 
pas intervenir le zoom de 2 du couple stereoscopique d'images, la modelisation de la 
correlation avec la recalage barycentrique, et le calcul multi niveaiix de resolution (ou 
multiechelle) du maximum de la nappe de correlation est proposee^ a partir de 
simulations representees a la figure 7. 

Les resultats obtenus pour quatre mefhodes d'appariement d' images 
stereoscopiques sont presentes (fig. 8 precision en fonction du b/h), ces methodes etant : 
la methode de correlation standard par tme fenetre de correlation de type prolate 26, la 
m6thode de correlation standard par une fenetre de correlation de type constante 25, la 
methode de correlation fine par une fenetre de correlation de type prolate 27, et la 
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methode de correlation fine par une fenetre de correlation de type prolate en enlevant les 
points issus de fenetres incluant des fenetres plus petites 28. 

Les images du couple sont des images de Marseille de p^ d'echantillonxiage un 
metre avec une fonction de transfert respectant quasiment le principe de ShannorL (valeur 
proche de 0 a la frequence de coupure). Le rapportsignLal a bruit des images est egal a 
100. 

L'acquisition des images du couple stereoscopique est matricielle. Ces images 
sont calculees a partir d*xme orfhophotographie echantiUonnee a xm metre et d'un modele 
numerique de terrain de precision submetrique couvrant la mSme zone. 

Des couples d'images ster6oscopiques sont g6neres pour plusieurs b/h. Ce 
coefficient prend des valeurs entre 0.005 et 0.25. Ce coefficient est provoque par le seul 
depointage en tangage. 

Comme represente a la figure 8, la precision avec la methode de correlation fine 
est deux fois meilleure que celle mesuree avec les methodes classiques. De plus, on pent 
considerer que la correlation fine est de precision constante pour des b/h entre 0.01 et 
0.15. La precision altimetrique dont Tecart type est ici presente en ordonnee avec comme 
imite le pixel est meilleure que le pixel. Cette methode conserve ime precision 
subpixellaire avec de faibles coefficients stereoscopiques (b/h). 

Par ailleurSj la methode preconisee dite de correlation fine sans inclusion de 
fenetres permet de rejeter les points d'ombres qui sont souvent aberrants. Le taux de 
correlation est proche de 1 si Ton neglige le phenomene d^ombre. 

Le procede d'appariement d'images stereoscopiques decrit ci-dessus permet 
done le traitement d'images stereoscopiques pour un faible coefficient stereoscopique 
(b/h faible) avec la meme precision altimetrique que pour des coefficients 
stereoscopiques forts. Ce proced6 fonctionne jusqu'a des coefficients st6reoscopiques 
tres faibles (0.01) sans degrader la precision altimetrique. 

Ce procede de correlation fine est mis en oeuvre dans le systeme de traitement de 
I'ensemble d'acquisition et d'appariement d'un couple st6reoscopique d'images. 
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Ce precede permet une nouvelle conception des systemes spatiaiix d' acquisition 
et de photographie aptes a acquerir le couple stereoscopique d'images. Un coefficient 
stereoscopique (b/h) proche de 0.02 limite les directions de visees homologues des 
capteurs CCD a une valeur inferieure a ± un degre. 
5 Un nouveau type de systeme spatial d'acquisition permettant Facqxaisition du 

couple stereoscopique d'images est repr6sente a la figure 9. 

Contrairement aux systemes d'acqmsition de Part anterieur, le systeme 
d' acquisition selon la presente invention comporte un instrument d'acquisition unique 
(non represente) comprenant un systeme optique unique (non represente) et deux 
10 capteurs CCD 3 1, 32 symetriques dans le plan focal optique. 

Chaque capteur CCD represente a la figure 9 est une barrette constituee de 
detecteurs 33a, 33b, 33c. Ces detecteurs 33a5 33b, 33c sont par exemple des photodiodes 
electrouiques sensibles CCD a la lumiere et capable de convertir le signal liiminexrs: en 
xm courant electrique proportionnel a Tintensite de cette Ixunidre. Ces detecteurs 33a, 
15 33b, 33c sont places c6te a cote, en ligne et forment la barrette 33. Chaque detecteur 

33a, 33b, 33c est charge de Tobservation d'un pixel. Chaque detectexir 33a, 33b, 33c 
capte la lumiere provenant d'un pixel de terrain. 

Le principe de fonctionnement d'xm tel systeme d' acquisition d'image 
stereoscopique daQS le cas spatial est le suivant. 
20 Chaque barrette 33, 34 permet I'acquisition d'une ligne d'image. La barrette 33 

permet T acquisition d'xme ligne de la premiere image, et la barrette 34 I'acquisition 
d'une ligne de la deuxieme image. 

La premiere image et la deuxieme image du couple stereoscopique sont done 
acquises Ugne par ligne par les barrettes CCD 33, 34 au fiir et a mesure de Tavancement 
25 du satellite sur son orbite (entre le temps t et t+At). 

Les lignes d'images acquises par les premieres et deuxiemes barrettes 33, 34 sont 
stockees dans des moyens memoire. 
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Une fois les deux images 1, 2 acquises, le systeme d' acquisition envoie (par des 
moyens de communication sans fil) le couple stereoscopique d'images 1, 2 au systeme 
de traitement. Ce systeme de traitement est preferentiellement base au sol et perniet 
I'appariement des points du couple. 

Dans le cas d'-un systeme d' acquisition spatiale les deux barrettes introdmtes 
dans le plan focal peuvent etre remplacees par deux matrices (chaque matrice etant 
constituee d'un ensemble de detecteurs CCD repartis en lignes et colonnes) egalement 
situees dans le plan focal. 

Ceci peut etre realise egalement avec un appareil photographique non spatial. 
Dans le cas d'un appareil photographique, le systeme d' acquisition du couple 
stereoscopique d'images comportera xm capteur optoelectronique comprenant un 
systeme optique xmique et deux capteurs CCD symetriques dans le plan focal. 

Le procede d'appariement fin d'un couple stereoscopique d'images nods en oeuvre 
dans le systeme de traitement reste valable pour les systemes d' acquisition comprenant 
un instrument spatial unique constitu6 de deux matrices ou de dexix barrettes des lors que 
les perturbations d'attitudes sont corrigees ou negligeables. 
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REVENDICATIONS 

L Systeme de traitement pour xin ensemble d'acquisition et d'appariement d'lm couple 
stereoscopique d'images (1, 2) comprenant un systeme d'acquisition d'un couple 
stereoscopique d'images a coefficient stereoscopique de quelques centiemes et le 
systeme de traitement du couple stereoscopique acquis, 
caracterise en ce que le systeme de traitement comporte : 

- des moyens aptes k traiter les deux images (1, 2) du couple stereoscopique, selon au 
moins une direction de traitement et selon differents niveaux de resolution du plus 
grossier au plixs fin, lesdits moyens de traitement comprenant des moyens qtd, pour 
chaque changement de niveau de resolution, sont aptes a : 

- determiner, en chaque point de la premiere image (1), une fenStre de correlation 
(3) optimale, 

- calculer, par correlation avec les fenetres de correlation determinees, les ecarts 
de position entre chaque point (40) de la premiere image (1) et son homologue 
radiometrique (41) dans la deuxieme image (2), 

- obtenir, pour le niveau de resolution courant, une carte des ecarts de position 
entre chaque point (40) de la premiere image et son homologue radiometrique 
(41) dans la deuxieme image, 

- effectuer im recalage barycentrique des points de ladite carte obtenue, 

- des moyens aptes a obtenir, pour le niveau de resolution le plus fin, la carte des 
ecarts de position entre chaque point de la premiere image (1) et son homologue 
radiometrique dans la deuxieme image (2). 

2. Systeme de traitement selon la revendication 1, caracterise en ce que les moyens 
aptes a traiter les deux images du couple comprennent en outre : 

- des moyens aptes a effectuer \me convolution des hnages (1, 2) du couple par 
une fenetre de convolution. 
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- des moyens aptes a effectuer un zoom de taille 2 des images (1, 2) du couple 
stereoscopique. 



3. Systeme de traitement selon la revendication 1 ou la revendication 2, caracterise en 
ce que les moyens aptes a detemiiner la fenetre de correlation optimale en chaque 
point de la premiere image comprennent : 

- des moyens aptes a calculer une courbure de la premiere image pour chaque 
taille de fenetre de correlation (3), 

- des moyens aptes a calculer une courbure de Timage de bruit pour chaque taille 
de fenetre de correlation (3), 

- des moyens aptes a calculer, pour chaque taille de fenetre de correlation, le 
rapport (SNRc) des courbures precedentes, 

et des moyens aptes a choisir la plus petite taille de fenetre de correlation telle que 
ledit rapport soit superieur a un parametre d'exhaustivite saisi par I'utilisateur. 

4. Systeme de traitement selon Tune quelconque des revendications precedentes, 
caracterise en ce que les moyens aptes a traiter les deux images comprennent en 
outre des moyens aptes a effectuer une interpolation de la deuxieme image (2) grace 
a xme carte des ecarts de position obtenue pour xm niveau de resolution precedent. 

5. Systeme de traitement selon la revendication 4, caracterise en ce que les moyens 
aptes a traiter les deux images comprennent en outre : 

- des moyens aptes a rejeter les points homologues (40, 41) issus de fenetres de 
correlation (3) de plus grandes tallies et contenant des fenetres de correlation (3) 
de plus petites tailles, 

- des moyens aptes a rejeter les points homologues (40, 4l) de rayons de 
courbure verifiant une condition de rejet apres interpolation de la deuxieme 
image (2), 
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' des moyens aptes a completer iterativement, dans la carte des ecarts de position 
correspondant au niveau de resolution courant, des points d' ecarts de position 
lacunaires en fonction des points d'ecarts de position existants, 

- des moyens aptes a lisser la carte des ecarts de position correspondant au 
niveau de resolution coxarant par une fenetre de convolution, 

- des moyens aptes a composer la carte des ecarts de position calculee pour le 
niveau de resolution courant avec la carte des ecarts de position calciilee pour le 
precedent niveau de resolution afin de mettre a jour ladite caite des ecarts de 
position calculee pour le niveau de resolution precedent 

6. Systeme de traitement selon Tune des revendications precedentes, caracterise en ce 
qu'il comporte en outre des moyens aptes a rejeter les points homologues verifiant 
une condition de rejet, lesdits moyens aptes a rejeter les points homologues 
comprenant : 

- des moyens qui, pour le point courant, sont aptes a calculer sur la premiere image (1) 
les couibures de ses deux points voisios suivant chaque direction de traitement, 

- des moyens qui, pour le point courant, sont aptes a calculer Tecart iaferieur des 
courbures des 4 connexes au point courant de la premiere image (1), 

- des moyens qui, pour le point courant, sont aptes a calculer, dans la deuxieme 
image (2), son point homologue interpole par la carte des ecarts de position, 

- des moyens qui, pour le point courant, sont aptes a calculer Tecart entre sa 
courbure et celle du point homologue, 

- des moyens qui, pour le point courant, sont aptes a rejeter le point homologue si 
cet ecart est plus important que Tecart inferieur calcule sur la premiere image (1). 

7. Procede d'appariement d'un couple stereoscopique d'images a coefficient 
stereoscopique de quelques centiemes, caracterise en ce qu'il comprend les etapes : 

- de traitement grSce a des moyens de traitement des deux images (1, 2) du 
couple stereoscopique, selon au moins une direction de traitement et selon 
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differents niveaux de resolution du plus grossier au plus fin, en, pour chaque 
changement de niveau de resolution : 

- determinant, en chaque point de la premiere image (1), xme fenetre de 
correlation (3) optimale, 

5 - calculant, par correlation avec les fenetres de correlation determinees, 

les ecarts de position entre chaque point (40) de la premiere image (1) et 
son homologue radiometrique (41) dans la deuxidme image (2), 

- obtenant, pour le niveau de resolution courant, une carte des ecarts de 
position entre chaque point (40) de la premiere image et son homologue 

10 radiometrique (41) dans la deuxieme image, 

- effectuant un recalage barycentrique des points de ladite carte obtenue, 

- d'obtention, pour le niveau de resolution le plus fin, de la carte des 6carts de 
position eaatre chaque point de la premiere image (1) et son homologue 
radiometrique dans la deuxieme image (2). 

15 

8. Procede selon la revendication 7, caracterise en ce qu'il comporte en outre I'etape : 

- d' acquisition d'un couple stereoscopique d'images (i, 2) par im instrument 
d' acquisition imique (30) destine a fonctionner avec des coefficients 
stereoscopiques de quelques centiemes et comprenant deux capteurs CCD (31, 

20 32) dans le plan focal optique (19')> chaque capteiH- (31) permettant Tacquisition 

d'lme image (1) du couple. 

9. Procede selon la revendication 7 ou la revendication 8, caracterise en ce qu'il 
comporte xme etape consistant a traiter grace a des moyens de traitement les deux 

25 images (1, 2) du couple stereoscopique selon une direction epipolaire. 

10. Procede selon Tune quelconque des revendications 7 a 9, caracterise en ce qu'il 
comporte une etape consistant a traiter grSce k des moyens de traitement les deux 
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images (1^ 2) du couple stereoscopique selon xme direction epipolaire et xme 
direction orthogonale a la direction epipolaire. 

11. Precede selon Time quelconque des revendications 7 a 10, caracterise en ce qu'il 
comprend en outre une etape de saisie par un utilisateur d'au moins un parametre 
d'exhaustivite correspondant au choix d'un rapport signal sur bruit de correlation 
suivant chaque direction de traitement 

12. Procede selon Tme des revendications Tall, caract6rise en ce qu'il comporte en 
outre les 6tapes d'acqmsition : 

- d'une image de bruit, 

- du type de la fenetre de correlation, 

- d'une direction epipolaire pour chaque image (1, 2) du couple pour un 
coefficient stereoscopique moyen, 

- d'au moins xme valeur de Pecart de position maximum suivant chaque direction 
de traitement. 

13. Procede selon la revendication 12, caracterise en ce que le procede comprend en 
outre xme etape de pretraitement des donnees consistant a : 

- calculer xm nombre de niveaxax de resolution suivant chaque direction de 
traitement en fonction de chaque valexar de Pecart de position maximum, 

- filtrer les images (1, 2) du couple stereoscopique d'images par convolution 
avec xme fenetre de convolution, 

- filtrer Pimage de bruit par convolution avec ladite fenetre de convolution, 

- interpoler dans xme geometrie epipolaire le coxxple stereoscopique d'images. 

14. Procede selon Pxme des revendications 7 a 13, caracterise en ce que P etape de 
traitement des images comprend en outre les etapes consistant a : 
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- effectuer ime convolution des images (1, 2) du couple par una fenetre de 
convolution, 

- effectuer un zoom de taille 2 des images (1, 2) du couple stereoscopique. 

15. Procede selon la revendication 11, caracterise en acque Tetape de determination de 
la fenetre de correlation optimale consiste a, pour chaque point de la premiere image : 

- calculer une courbure de la premiere image pour chaque taille de fenetre de 
correlation (3), 

- calculer une courbure de I'image de bruit pour chaque taille de fenetre de 
correlation (3), 

- calculer, pour chaque taille de fendtre de correlation, le rapport (SNRc) des 
courbures precedentes, 

et a choisir la plus petite taille de fenetre de correlation telle que ledit rapport soit 
superieur a chaque parametre d'exhaustivit6 saisi par I'utilisateur. 

16. Procede selon Tune des revendications 7 a 15, caracteris6 en ce que I'etape de 
traitement des images comprend en outre une etape consistant a effectuer xme 
interpolation de la deuxieme image (2) grace a une carte des ecarts de position 
obtenue pour un niveau de resolution precedent. 

17. Pi'ocede selon la revendication 16, caracterise en ce que Tetape de traitement des 
images comprend en outre les etapes consistant a : 

- rejeter les points homologues issus de fenetres de correlation de plus grandes 
tallies et contenant des fenetres de correlation de plus petites tallies, 

- rejeter les points homologues (40, 41) de rayons de coxarbure verifiant une 
condition de rejet apres interpolation de la dexixieme image (2), 

-completer iterativement, dans la carte des ecarts de position correspondant au 
niveau de resolution courant, des points d' ecarts de position lacunaires en 
fonction des points d' ecarts de position existants. 
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- lisser la carte des ecarts de position correspondant au niveau de resolution 
courant par me fenetre de convolution, 

- composer la carte des ecarts de position calculee pour le niveau de resolution 
coiirant avec la carte des ecarts de position calculee pour le precedent niveau de 
resolution afin de mettre a jour ladite carte des ecarts de position calculee pour le 
niveau de resolution precedent. 

18. Procede selon Tune des revendications 17, caracterise en ce que Tetape de rejet des 
points homologues verifiant une condition de rejet consiste a, pour le point courant : 

- calculer sur la premiere image (1) les courbures de ses deux points voisins 
suivant chaque direction de traitement, 

- calculer T^cart inferieur des courbxires des 4 connexes au point courant de la 
premiere image, 

- calcxxler, dans la deuxieme image, son point homologue interpole par la carte 
des ecarts de position, 

- calculer T^cart entre sa courbure et celle du point homologue, 

- rejeter le point homologue si cet ecart est plus important que Tecart inferiexjr 
calcule sur la premiere image. 

19, Procede selon Tune des revendications 7 a 18, caracterise en ce que Tetape 
d'obtention, pour le niveau de resolution le plus fin, de la carte des ecarts de 
position, comprend Tpbtention : 

- d'au moins un tableau representant la carte des ecarts de position suivant 
chaque direction de traitement, 

- d'au moins xm tableau repr6sentant une carte des tallies des fenStres de 
correlation employees en tout point non rejete de la premiere image, suivant 
chaque direction de traitement 
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20. Precede selon rune des revendications 7 k 19, caracterise en ce que les fenetres de 
convolution et de correlation utilisees sont des fenetres de convolution et de 
correlation de type prolate. 

21. Ensemble d'acquisitionjet d'appariement d'un couple stereoscopique d'images (1, 2) 
comprenant un systeme d'acquisition d'un couple stereoscopique d'images et un 
systeme de traitement du couple stereoscopique acquis caracterise : 

en ce que le systeme d'acquisition du couple stereoscopique comporte un 
instrument d'acquisition unique (30) comprenaat deux captexars CCD (31, 32) daos 
le plan focal optique, chaque capteur CCD (31, 32) permettant I'acquisition d'une 
image (1, 2), le systeme d'acquisition etaat destine a fonctiomaer avec des 
coefficients stereoscopiques de quelques centiemes, et 

en ce que le systeme de traitement comporte : 

- des moyens aptes a traiter les deux images (1, 2) du couple stereoscopique, selon au 
moins une direction de traitement et selon differents niveaux de resolution du plus 
grossier au plus fixi, lesdits moyens de traitement comprenant des moyens qui, pour 
chaque changement de niveau de resolution, sont aptes a : 

- determiner, en chaque point de la premiere image (1), une fenetre de correlation 
(3) optimale, 

- calculer, par correlation avec les fenetres de correlation determinees, les ecarts 
de position entre chaque point (40) de la premiere image (1) et son homologue 
radiometrique (41) dans la deuxieme image (2), 

- obtenir, pour le niveau de resolution coxarant, xme carte des ecarts de position 
entre chaque point (40) de la premiere image et son homologue radiometrique 
(41) dans la deuxieme image, 

- effectuer un recalage barycentrique des points de ladite carte obtenue, 

- des moyens aptes a obtenir, pour le niveau de resolution le plus fin, la carte des 
ecarts de position entre chaque point de la premiere image (1) et son homologue 
radiometrique dans la deuxieme image (2). 
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22. Systeme d' acquisition pour un ensemble d' acquisition et d'appariement d'un couple 
stereoscopique d'unages (1, 2) comprenant le systeme d'acquisition d'un couple 
stereoscopique d'iinages et un systeme de traitement du couple stereoscopique 
acquis, 

caracteris6 en ce que le systeme d' acquisition du couple stereoscopique comporte un 
iostrument d'acquisition unique (30) comprenant deux capteurs CCD (31, 32) dans 
le plan focal optique, chaque capteur CCD (31, 32) permettant I'acquisition d'une 
image (1, 2) d'un couple stereoscopique d'nnages, le systeme d' acquisition etant 
destine a fonctionner avec des coefficients stereoscopiques de quelques centiemes. 
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